[速報] Amazon Redshiftが Amazon KDS と Amazon MSK のリアルタイムストリーミングインジェストの一般提供を発表！ #reinvent

データアナリティクス事業本部のコンサルティングチームの石川です。Amazon Redshiftが Amazon KDS と Amazon MSK のリアルタイムストリーミングインジェストの一般提供を発表されました！

Amazon KDS と Amazon MSK のリアルタイムストリーミングとは

Redshiftは、Amazon Kinesis Data Streams (KDS) および Amazon Managed Streaming for Apache Kafka (MSK) のリアルタイムストリーミングインジェストをサポートするようになりました。Amazon RedshiftからAmazon KDSのストリームデータをマテリアライズド・ビュー経由でニアリアルタイムにインジェストする機能が2022年2月からパブリック・プレビュー提供されていましたが、これが一般提供（GA）が開始されました。

リアルタイムストリーミングインジェストの機能

従来、ストリーミングデータをRedshiftに取り込むのに必要だった、S3で配置した後データのロード（COPY）が不要になります。今回の新機能によって毎秒数百メガバイトのストリーミングデータをRedshiftに取り込みながら、秒単位という低レイテンシーを実現できます。

Redshiftの新しいストリーミング取り込み機能により、Redshift内でSQLを使用して、複数のAmazon KDSストリームまたは複数のAmazon MSKトピックに同時に接続してデータを直接取り込むことができます。

Redshift ストリーミングインジェストでは、ストリーム上にマテリアライズドビューを用いて実装するため、データパイプラインが簡素化されます。マテリアライズドビューには、ELT (Extract Load Transform) パイプラインの一部としてSQL変換を含めることもできます。

マテリアライズドビューの自動更新機能が有効になっている場合、ストリーミングデータは、KDSストリームまたはMSKトピックからRedshiftストリーミングマテリアライズドビューに自動的かつ継続的に取り込まれます。インジェスト スケジュールを直接制御する必要がある場合は、ストリーミングマテリアライズドビューを手動で更新することもできます。

追加料金はなし

RedshiftのマテリアライズドビューとSQLを使用して、ストリーミングデータのダウンストリーム処理と変換をするため、追加料金は不要です。

対応リージョン

現在、すべての商用AWSリージョンで一般提供されています。

最後に

Redshiftで低レイテンシのストリーミングデータ取り込みが、素早く簡単に実現できるようになりました。マテリアライズドビューを用いたストリーミングデータの取り込みは素晴らしいアイディアだと考えています。

参考文献